#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：two_layer_crawler 
@File ：sub_spider.py
@IDE  ：PyCharm 
@Author ：李涵彬
@Date ：2024/2/24 16:24 
"""

import scrapy
from scrapy_redis.spiders import RedisSpider

class SubSpider(RedisSpider):
    name = 'sub_spider'
    redis_key = 'sub_spider:start_urls'

    def parse(self, response):
        # 在这里解析子页面元素，并保存数据到MongoDB
        item = {
            'url': response.url,
            'element': response.css('your_css_selector').get()  # 替换为你需要获取的元素选择器
        }
        yield item

